Ando dilahirkan dengan nama Go Pek-Hok (Cina tradisional: 吳百福; Pe̍h-ōe-jī: Gô͘ Peh-hok) pada tahun 1910. Ando dilahirkan dalam keluarga yang mewah di Kagi-chō (bahasa Jepun: 嘉義廳, Wilayah Chiayi moden), Formosa Jepun (Taiwan). Ando dibesarkan oleh datuk dan neneknya mengekori kematian ibu bapanya di dalam kawasan pebandaran Tainan-chō (臺南廳, Tainan).[1] Datuk neneknya memiliki sebuah kedai tekstil, yang mengilhamkan beliau, pada umur 22 tahun, untuk membuka syarikat tekstilnya sendiri, menggunakan 190,000 yen, di Eiraku-chō (永樂町), Daitōtei, Taihoku (Taipei).

Pada tahun 1933, Ando bergerak ke Osaka, di mana beliau mengasaskan satu syarikat pakaian sambil membelajar ekonomi di Universiti Ritsumeikan.[1]